<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   大数据技术Hadoop面试题，看看你能答对多少？  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://dataunion.org/2256.html",
                  host: "http://dataunion.org",
                  prePath: "http://dataunion.org",
                  scheme: "http",
                  pathBase: "http://dataunion.org/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466460986: Accept with keywords: (title(0.333333333333):面试题,Hadoop,数盟,技术,社区,数据, topn(0.266666666667):社区,数盟,信息,行业资讯,内存,数据挖掘,机架,文件,hadoop,基础架构,答案,文章,集群,数据,节点,机器,文件大小,Hadoop,问题,随机,面试题,服务器,磁盘,通讯,错误,端口,线程,版本,时候,序列化).-->
 </head>
 <body onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    大数据技术Hadoop面试题，看看你能答对多少？
   </h1>
  </div>
  <div class="container" id="xmain">
   ﻿﻿
   <title>
    大数据技术Hadoop面试题，看看你能答对多少？ | 数盟社区
   </title>
   <!-- All in One SEO Pack 2.2.7.6.2 by Michael Torbert of Semper Fi Web Design[32,71] -->
   <!-- /all in one seo pack -->
   <!--
<div align="center">
<a href="http://strata.oreilly.com.cn/hadoop-big-data-cn?cmp=mp-data-confreg-home-stcn16_dataunion_pc" target="_blank"><img src="http://dataunion.org/wp-content/uploads/2016/05/stratabj.jpg"/ ></a>
</div>
-->
   <header id="header-web">
    <div class="header-main">
     <hgroup class="logo">
      <h1>
       <a href="http://dataunion.org/" rel="home" title="数盟社区">
        <img src="http://dataunion.org/wp-content/themes/yzipi/images/logo.png"/>
       </a>
      </h1>
     </hgroup>
     <!--logo-->
     <nav class="header-nav">
      <ul class="menu" id="menu-%e4%b8%bb%e8%8f%9c%e5%8d%95">
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-has-children menu-item-71" id="menu-item-71">
        <a href="http://dataunion.org/category/events" title="events">
         活动
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-22457" id="menu-item-22457">
          <a href="http://dataunion.org/2016timeline">
           2016档期
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-22459" id="menu-item-22459">
          <a href="http://dataunion.org/category/parterc">
           合作会议
          </a>
         </li>
        </ul>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category current-post-ancestor menu-item-has-children menu-item-20869" id="menu-item-20869">
        <a href="http://dataunion.org/category/tech" title="articles">
         文章
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category current-post-ancestor current-menu-parent current-post-parent menu-item-20867" id="menu-item-20867">
          <a href="http://dataunion.org/category/tech/base" title="base">
           基础架构
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3302" id="menu-item-3302">
          <a href="http://dataunion.org/category/tech/ai" title="ai">
           人工智能
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3303" id="menu-item-3303">
          <a href="http://dataunion.org/category/tech/analysis" title="analysis">
           数据分析
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-21920" id="menu-item-21920">
          <a href="http://dataunion.org/category/tech/dm">
           数据挖掘
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3314" id="menu-item-3314">
          <a href="http://dataunion.org/category/tech/viz" title="viz">
           可视化
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3305" id="menu-item-3305">
          <a href="http://dataunion.org/category/tech/devl" title="devl">
           编程语言
          </a>
         </li>
        </ul>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-has-children menu-item-20876" id="menu-item-20876">
        <a href="http://dataunion.org/category/industry">
         行业
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-16328" id="menu-item-16328">
          <a href="http://dataunion.org/category/industry/case" title="case">
           行业应用
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-2112" id="menu-item-2112">
          <a href="http://dataunion.org/category/industry/demo" title="demo">
           Demo展示
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-21562" id="menu-item-21562">
          <a href="http://dataunion.org/category/industry/news">
           行业资讯
          </a>
         </li>
        </ul>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-311" id="menu-item-311">
        <a href="http://dataunion.org/category/sources" title="sources">
         资源
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-20870" id="menu-item-20870">
        <a href="http://dataunion.org/category/books" title="book">
         图书
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-21363" id="menu-item-21363">
        <a href="http://dataunion.org/category/training">
         课程
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-has-children menu-item-21853" id="menu-item-21853">
        <a href="http://dataunion.org/category/jobs">
         职位
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-22050" id="menu-item-22050">
          <a href="http://dataunion.org/category/career">
           职业规划
          </a>
         </li>
        </ul>
       </li>
      </ul>
     </nav>
     <!--header-nav-->
    </div>
   </header>
   <!--header-web-->
   <div id="main">
    <div id="soutab">
     <form action="http://dataunion.org/" class="search" method="get">
     </form>
    </div>
    <div id="container">
     <nav id="mbx">
      当前位置：
      <a href="http://dataunion.org">
       首页
      </a>
      &gt;
      <a href="http://dataunion.org/category/tech">
       文章
      </a>
      &gt;
      <a href="http://dataunion.org/category/tech/base">
       基础架构
      </a>
      &gt;  正文
     </nav>
     <!--mbx-->
     <article class="content">
      <header align="centre" class="contenttitle">
       <div class="mscc">
        <h1 class="mscctitle">
         <a href="http://dataunion.org/2256.html">
          大数据技术Hadoop面试题，看看你能答对多少？
         </a>
        </h1>
        <address class="msccaddress ">
         <em>
          3,600 次阅读 -
         </em>
         <a href="http://dataunion.org/category/tech/base" rel="category tag">
          基础架构
         </a>
        </address>
       </div>
      </header>
      <div class="content-text">
       <p>
        <strong>
         1. 下面哪个程序负责 HDFS 数据存储。
        </strong>
        <br/>
        a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker
       </p>
       <p>
        答案C datanode
       </p>
       <p>
        <strong>
         2. HDfS 中的
         <span id="17_nwp">
          block
         </span>
         默认保存几份？
        </strong>
        <br/>
        a)3 份 b)2 份c)1 份d)不确定
       </p>
       <p>
        答案A默认3分
        <br/>
        <img src="http://www.thebigdata.cn/upload/2014-11/141125103026051.jpg"/>
        <br/>
        <strong>
         3. 下列哪个程序通常与 NameNode 在一个节点启动？
        </strong>
        <br/>
        a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker
       </p>
       <p>
        答案D
        <br/>
        分析：
        <br/>
        hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个
       </p>
       <p>
        SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode（运行在单独的物理机器上）和NameNode运行在不同的机器上。
        <br/>
        JobTracker和TaskTracker
        <br/>
        JobTracker  对应于 NameNode
        <br/>
        TaskTracker 对应于 DataNode
        <br/>
        DataNode 和NameNode 是针对数据存放来而言的
        <br/>
        JobTracker和TaskTracker是对于MapReduce执行而言的
       </p>
       <p>
        mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：
        <br/>
        <span id="7_nwp">
         job
        </span>
        client，JobTracker与TaskTracker。
        <br/>
        1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，
        <br/>
        并把路径提交到Jobtracker,然后由JobTracker创建每一个Task（即MapTask和ReduceTask）
        <br/>
        并将它们分发到各个TaskTracker服务中去执行
        <br/>
        2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，
        <br/>
        并
        <span id="6_nwp">
         监控
        </span>
        它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
        <br/>
        3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。
        <br/>
        TaskTracker都需要运行在HDFS的DataNode上
       </p>
       <p>
        <strong>
         4. Hadoop 作者
        </strong>
        <br/>
        a)Martin Fowler b)Kent Beck c)Doug cutting
       </p>
       <p>
        答案C Doug cutting
       </p>
       <p>
        <strong>
         5. HDFS 默认 Block Size
        </strong>
        <br/>
        a)32MB  b)64MB c)128MB
       </p>
       <p>
        答案：B
        <br/>
        (因为版本更换较快，这里答案只供参考)
       </p>
       <p>
        <strong>
         6. 下列哪项通常是集群的最主要瓶颈
        </strong>
        <br/>
        a)CPU   b)网络 c)磁盘IO  d)内存
       </p>
       <p>
        答案：C磁盘
        <br/>
        首先集群的目的是为了节省成本，用廉价的pc机，取代小型机及大型机。小型机和大型机有什么特点？
       </p>
       <p>
        1.cpu处理能力强
        <br/>
        2.内存够大
        <br/>
        所以集群的瓶颈不可能是a和d
        <br/>
        3.网络是一种稀缺资源，但是并不是瓶颈。
       </p>
       <p>
        4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。
        <br/>
        同样可以参考下面内容（磁盘IO：磁盘输出输出）
        <br/>
        对于磁盘IO：当我们面临集群作战的时候，我们所希望的是即读即得。可是面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。所以IO的好坏，直接影响了集群对于数据的处理。
       </p>
       <p>
        <strong>
         7. 关于 SecondaryNameNode 哪项是正确的？
        </strong>
        <br/>
        a)它是 NameNode 的热备     b)它对内存没有要求
        <br/>
        c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
        <br/>
        d)SecondaryNameNode 应与 NameNode 部署到一个节点
       </p>
       <p>
        答案C。
        <br/>
        D答案可以参考第三题
        <br/>
        多选题：
        <br/>
        <strong>
         8. 下列哪项可以作为集群的管理？
        </strong>
        <br/>
        a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper
       </p>
       <p>
        答案1：ABD
       </p>
       <p>
        <strong>
         二次整理
        </strong>
        <br/>
        修改后答案：ABC
        <br/>
        分析：
        <br/>
        A：puppetpuppet是一种Linux、Unix、windows平台的集中配置管理系统
        <br/>
        B：pdsh可以实现在在多台机器上执行相同的命令
        <br/>
        首先这里给管理下一个定义：部署、配置、调试、
        <span id="16_nwp">
         监控
        </span>
        ，属于管理
        <br/>
        因为zookeeper不满足上面要求，所以不纳入管理范围。
       </p>
       <p>
        <strong>
         9. 配置机架感知的下面哪项正确
        </strong>
        <br/>
        a)如果一个机架出问题，不会影响数据读写
        <br/>
        b)写入数据的时候会写到不同机架的 DataNode 中
        <br/>
        c)MapReduce 会根据机架获取离自己比较近的网络数据
       </p>
       <p>
        答案ABC
       </p>
       <p>
        <strong>
         10. Client 端上传文件的时候下列哪项正确
        </strong>
        <br/>
        a)数据经过 NameNode 传递给 DataNode
        <br/>
        b)Client 端将文件切分为 Block，依次上传
        <br/>
        c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
        <br/>
        答案B
        <br/>
        分析：
        <br/>
        Client向NameNode发起文件写入的请求。
       </p>
       <p>
        NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
       </p>
       <p>
        Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
       </p>
       <p>
        <strong>
         11. 下列哪个是 Hadoop 运行的模式
        </strong>
        <br/>
        a)单机版 b)伪分布式 c)分布式
       </p>
       <p>
        答案ABC
       </p>
       <p>
        <strong>
         12. Cloudera 提供哪几种安装 CDH 的方法
        </strong>
        <br/>
        a)Cloudera manager b)Tarball c)Yum d)Rpm
        <br/>
        答案：ABCD
       </p>
       <p>
        判断题：
        <br/>
        <strong>
         13. Ganglia 不仅可以进行
         <span id="15_nwp">
          监控
         </span>
         ，也可以进行告警。
        </strong>
        （ 正确）
        <br/>
        分析：
        <br/>
        此题的目的是考Ganglia的了解。严格意义上来讲是正确。
       </p>
       <p>
        ganglia作为一款最常用的Linux环境中的
        <span id="5_nwp">
         监控软件
        </span>
        ，它擅长的的是从节点中按照用户的需求以较低的代价采集数据。但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能。但是更擅长做警告的还有Nagios。Nagios，就是一款精于预警、通知的软件。通过将Ganglia和Nagios组合起来，把Ganglia采集的数据作为Nagios的数据源，然后利用Nagios来发送预警通知，可以完美的实现一整套
        <span id="1_nwp">
         监控
        </span>
        管理的系统。
       </p>
       <p>
        <strong>
         14. Block Size 是不可以修改的。
        </strong>
        （错误 ）
        <br/>
        它是可以被修改的
       </p>
       <p>
        Hadoop的基础配置文件是hadoop-default.xml，默认建立一个Job的时候会建立Job的Config，Config首先读入 hadoop-default.xml的配置，然后再读入hadoop-site.xml的配置（这个文件初始的时候配置为空），hadoop- site.xml中主要配置需要覆盖的hadoop-default.xml的系统级配置。具体配置可以参考下
       </p>
       <div class="blockcode">
        <div id="code_HQB">
         <ol>
          <li>
           &lt;property&gt;
          </li>
          <li>
           &lt;name&gt;dfs.block.size&lt;/name&gt;//block的大小，单位字节，后面会提到用处，必须是512的倍数，因为采用crc作文件完整性校验，默认配置512是checksum的最小单元。
          </li>
          <li>
           &lt;value&gt;5120000&lt;/value&gt;
          </li>
          <li>
           &lt;description&gt;The default
           <span id="0_nwp">
            block
           </span>
           size for new files.&lt;/description&gt;
          </li>
          <li>
           &lt;/property&gt;
          </li>
         </ol>
        </div>
        <p>
         <em>
          复制代码
         </em>
        </p>
       </div>
       <p>
        <strong>
         15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。
        </strong>
        （错误 ）
       </p>
       <p>
        分析：
        <br/>
        Nagios是集群监控工具，而且是
        <span id="4_nwp">
         云计算
        </span>
        三大利器之一
        <br/>
        <strong>
         16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。
        </strong>
        （错误 ）
       </p>
       <p>
        分析：
        <br/>
        SecondaryNameNode是帮助恢复，而不是替代，如何恢复
       </p>
       <p>
        <strong>
         17. Cloudera CDH 是需要付费使用的。
        </strong>
        （错误 ）
       </p>
       <p>
        分析：
        <br/>
        第一套付费产品是Cloudera Enterpris，Cloudera Enterprise在美国加州举行的 Hadoop 大会 (Hadoop Summit) 上公开，以若干私有管理、
        <span id="3_nwp">
         监控
        </span>
        、运作工具加强 Hadoop 的功能。收费采取合约订购方式，价格随用的 Hadoop 叢集大小变动。
       </p>
       <p>
        <strong>
         18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。
        </strong>
        （错误 ）
       </p>
       <p>
        分析：
        <br/>
        rhadoop是用R语言开发的，MapReduce是一个框架，可以理解是一种思想，可以使用其他语言开发。
       </p>
       <p>
        <strong>
         19. Hadoop 支持数据的随机读写。
        </strong>
        （错 ）
       </p>
       <p>
        分析：
        <br/>
        lucene是支持随机读写的，而hdfs只支持随机读。但是HBase可以来补救。
        <br/>
        HBase提 供随机读写，来解决Hadoop不能处理的问题。HBase自底层设计开始即聚焦于各种可伸缩性问题：表可以很“高”，有数十亿个数据行；也可以很 “宽”，有数百万个列；水平分区并在上千个普通商用机节点上自动复制。表的模式是物理存储的直接反映，使系统有可能提高高效的数据结构的序列化、存储和检 索。
       </p>
       <p>
        <strong>
         20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。
        </strong>
        （错误）
       </p>
       <p>
        修改后分析：
        <br/>
        分析：
        <br/>
        NameNode 不需要从磁盘读取 metadata，所有数据都在内存中，硬盘上的只是序列化的结果，只有每次 namenode 启动的时候才会读取。
        <br/>
        1）文件写入
        <br/>
        Client向NameNode发起文件写入的请求。
        <br/>
        NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
        <br/>
        Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
       </p>
       <p>
        2）文件读取
        <br/>
        Client向NameNode发起文件读取的请求。
        <br/>
        NameNode返回文件存储的DataNode的信息。
        <br/>
        Client读取文件信息。
       </p>
       <p>
        <strong>
         21. NameNode 本地磁盘保存了 Block 的位置信息。
        </strong>
        （ 个人认为正确，欢迎提出其它意见）
       </p>
       <p>
        分析：
        <br/>
        DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。
       </p>
       <p>
        <strong>
         22. DataNode 通过长连接与 NameNode 保持通信。
        </strong>
        （ ）
       </p>
       <p>
        这个有分歧：具体正在找这方面的有利资料。下面提供资料可参考。
        <br/>
        首先明确一下概念：
       </p>
       <p>
        （1）.长连接
        <br/>
        Client方与Server方先建立通讯连接，连接建立后不断开，
        <br/>
        然后再进行报文发送和接收。这种方式下由于通讯连接一直
        <br/>
        存在，此种方式常用于点对点通讯。
       </p>
       <p>
        （2）.短连接
        <br/>
        Client方与Server每进行一次报文收发交易时才进行通讯连
        <br/>
        接，交易完毕后立即断开连接。此种方式常用于一点对多点
        <br/>
        通讯，比如多个Client连接一个Server.
       </p>
       <p>
        <strong>
         23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。
        </strong>
        （错误 ）
       </p>
       <p>
        hadoop只能阻止好人犯错，但是不能阻止坏人干坏事
       </p>
       <p>
        <strong>
         24. Slave 节点要存储数据，所以它的磁盘越大越好。
        </strong>
        （ 错误）
       </p>
       <p>
        分析：
        <br/>
        一旦Slave节点宕机，数据恢复是一个难题
       </p>
       <p>
        <strong>
         25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。
        </strong>
        （错误 ）
       </p>
       <p>
        分析：
        <br/>
        hadoop dfsadmin -report
       </p>
       <p>
        用这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。
       </p>
       <p>
        当然NameNode有个http页面也可以查询，但是这个命令的输出更适合我们的脚本
        <span id="14_nwp">
         监控
        </span>
        dfs的使用状况
       </p>
       <div class="blockcode">
        <div id="code_h0H">
         <ol>
          <li>
           Configured Capacity: 77209395855360 (70.22 TB)
          </li>
          <li>
           Present Capacity: 76079914600683 (69.19 TB)
          </li>
          <li>
           DFS Remaining: 60534707015680 (55.06 TB)
          </li>
          <li>
           DFS Used: 15545207585003 (14.14 TB)
          </li>
          <li>
           DFS Used%: 20.43%
          </li>
          <li>
          </li>
          <li>
           ————————————————-
          </li>
          <li>
           Datanodes available: 107 (109 total, 2 dead)
          </li>
          <li>
          </li>
          <li>
           Name: 172.16.218.232:50010
          </li>
          <li>
           Rack: /lg/dminterface0
          </li>
          <li>
           Decommission Status : Normal
          </li>
          <li>
           Configured Capacity: 1259272216576 (1.15 TB)
          </li>
          <li>
           DFS Used: 185585852416 (172.84 GB)
          </li>
          <li>
           Non DFS Used: 39060951040 (36.38 GB)
          </li>
          <li>
           DFS Remaining: 1034625413120(963.57 GB)
          </li>
          <li>
           DFS Used%: 14.74%
          </li>
          <li>
           DFS Remaining%: 82.16%
          </li>
          <li>
           Last contact: Wed Nov 18 10:19:44 CST 2009
          </li>
          <li>
          </li>
          <li>
           Name: 172.16.216.126:50010
          </li>
          <li>
           Rack: /lg/dminterface2
          </li>
          <li>
           Decommission Status : Normal
          </li>
          <li>
           Configured Capacity: 661261402112 (615.85 GB)
          </li>
          <li>
           DFS Used: 123147280384 (114.69 GB)
          </li>
          <li>
           Non DFS Used: 8803852288 (8.2 GB)
          </li>
          <li>
           DFS Remaining: 529310269440(492.96 GB)
          </li>
          <li>
           DFS Used%: 18.62%
          </li>
          <li>
           DFS Remaining%: 80.05%
          </li>
          <li>
           Last contact: Wed Nov 18 10:19:46 CST 2009
          </li>
         </ol>
        </div>
        <p>
         <em>
          复制代码
         </em>
        </p>
       </div>
       <div class="blockcode">
       </div>
       <div class="blockcode">
       </div>
       <p>
        <strong>
         26. Hadoop 默认调度器策略为 FIFO
        </strong>
        （正确 ）
       </p>
       <p>
        <strong>
         27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。
        </strong>
        （错误 ）
        <br/>
        分析：
        <br/>
        首先明白什么是RAID，可以参考百科磁盘阵列。
        <br/>
        这句话错误的地方在于太绝对，具体情况具体分析。题目不是重点，知识才是最重要的。
        <br/>
        因为hadoop本身就具有冗余能力，所以如果不是很严格不需要都配备RAID。具体参考第二题。
       </p>
       <p>
        <strong>
         28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。
        </strong>
        （错误 ）
        <br/>
        分析：
        <br/>
        NameNode存在单点问题。
        <br/>
        <strong>
         29. 每个 map 槽就是一个线程。
        </strong>
        （错误 ）
        <br/>
        分析：首先我们知道什么是map 槽,map 槽-&gt;map slot
        <br/>
        map slot 只是一个逻辑值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是对应着一个线程或者进程
        <br/>
        <strong>
         30. Mapreduce 的 input split 就是一个
         <span id="13_nwp">
          block
         </span>
         。
        </strong>
        （错误 ）
        <br/>
        <strong>
         31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。
        </strong>
        （错误 ）
        <br/>
        分析：
        <br/>
        根据下面，很显然JOBTRACKER的 Web UI 端口是 50030
        <br/>
        端口说明：
       </p>
       <p>
        默认端口    设置位置
        <br/>
        9000        namenode
        <br/>
        8020        namenode
        <br/>
        8021        JT RPC
        <br/>
        50030       mapred.
        <span id="12_nwp">
         job
        </span>
        .tracker.http.address JobTracker administrative web GUI
        <br/>
        50070       dfs.http.address NameNode administrative web GUI
        <br/>
        50010       dfs.datanode.address DataNode control port
        <br/>
        50020       dfs.datanode.ipc.address DataNode IPC port, used for
        <span id="11_nwp">
         block
        </span>
        transfer
        <br/>
        50060       mapred.task.tracker.http.address Per TaskTracker web interface
        <br/>
        50075       dfs.datanode.http.address Per DataNode web interface
        <br/>
        50090       dfs.secondary.http.address Per secondary NameNode web interface
       </p>
       <p>
        设置位置                                                                  描述信息
        <br/>
        namenode                                                                 交互端口
        <br/>
        namenode                                                                 RPC交互端口
        <br/>
        JT RPC                                                                   交互端口
        <br/>
        mapred.
        <span id="10_nwp">
         job
        </span>
        .tracker.http.address JobTracker administrative web GUI     JOBTRACKER的HTTP服务器和端口
        <br/>
        dfs.http.address NameNode administrative web GUI                     NAMENODE的HTTP服务器和端口
        <br/>
        dfs.datanode.address DataNode control port           DATANODE控制端口，主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
        <br/>
        dfs.datanode.ipc.address DataNode IPC port, used for
        <span id="9_nwp">
         block
        </span>
        transfer    DATANODE的RPC服务器地址和端口
        <br/>
        mapred.task.tracker.http.address Per TaskTracker web interface         TASKTRACKER的HTTP服务器和端口
        <br/>
        dfs.datanode.http.address Per DataNode web interface                   DATANODE的HTTP服务器和端口
        <br/>
        dfs.secondary.http.address Per secondary NameNode web interface     辅助DATANODE的HTTP服务器和端口
       </p>
       <p>
        <strong>
         32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默
        </strong>
        <strong>
         认是 200 GB。
        </strong>
        （ 错误）
        <br/>
        hadoop为各个守护进程（namenode,secondarynamenode,
        <span id="2_nwp">
         job
        </span>
        tracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。
        <br/>
        <strong>
         33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。
        </strong>
        （错误 ）
        <br/>
        分析：
        <br/>
        首先明白介绍，什么ClusterID
        <br/>
        ClusterID
       </p>
       <p>
        添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。
        <br/>
        <strong>
         二次整理
        </strong>
        <br/>
        有的同学问题的重点不是上面分析内容：内容如下：
        <br/>
        这个报错是说明 DataNode 所装的Hadoop版本和其它节点不一致，应该检查DataNode的Hadoop版本
       </p>
       <p>
        以上答案通过多个资料验证，对于资料不充分的内容，都标有”个人观点“，给出本测试题抱着谨慎的态度，希望大家多批评指正。
       </p>
       <p>
       </p>
       <p>
        文章出处：中国大数据
       </p>
      </div>
      <div>
       <strong>
        注：转载文章均来自于公开网络，仅供学习使用，不会用于任何商业用途，如果侵犯到原作者的权益，请您与我们联系删除或者授权事宜，联系邮箱：contact@dataunion.org。转载数盟网站文章请注明原文章作者，否则产生的任何版权纠纷与数盟无关。
       </strong>
      </div>
      <!--content_text-->
      <div class="fenxian">
       <!-- JiaThis Button BEGIN -->
       <div class="jiathis_style_32x32">
        <p class="jiathis_button_weixin">
        </p>
        <p class="jiathis_button_tsina">
        </p>
        <p class="jiathis_button_qzone">
        </p>
        <p class="jiathis_button_cqq">
        </p>
        <p class="jiathis_button_tumblr">
        </p>
        <a class="jiathis jiathis_txt jtico jtico_jiathis" href="http://www.jiathis.com/share" target="_blank">
        </a>
        <p class="jiathis_counter_style">
        </p>
       </div>
       <!-- JiaThis Button END -->
      </div>
     </article>
     <!--content-->
     <!--相关文章-->
     <div class="xianguan">
      <div class="xianguantitle">
       相关文章！
      </div>
      <ul class="pic">
       <li>
        <a href="http://dataunion.org/20682.html">
         <img src="http://dataunion.org/wp-content/uploads/2015/09/t0132de3ea070cac9c4-300x191.jpg"/>
        </a>
        <a class="link" href="http://dataunion.org/20682.html" rel="bookmark" title="我在面试机器学习、大数据岗位时遇到的各种问题">
         我在面试机器学习、大数据岗位时遇到的各种问题
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/20638.html">
         <img src="http://dataunion.org/wp-content/uploads/2015/09/t013908f7a9eec17a28_副本-300x206.jpg"/>
        </a>
        <a class="link" href="http://dataunion.org/20638.html" rel="bookmark" title="大家都不炒了，预示着Hadoop已经达到预期的成熟度？">
         大家都不炒了，预示着Hadoop已经达到预期的成熟度？
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/20412.html">
         <img src="http://dataunion.org/wp-content/uploads/2015/08/u25379030543345962768fm21gp0.jpg"/>
        </a>
        <a class="link" href="http://dataunion.org/20412.html" rel="bookmark" title="把 Hadoop 装进大脑的15种方式！">
         把 Hadoop 装进大脑的15种方式！
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/20040.html">
         <img src="http://dataunion.org/wp-content/uploads/2015/07/QQ截图20150719153031.png"/>
        </a>
        <a class="link" href="http://dataunion.org/20040.html" rel="bookmark" title="Twitter核心数据类库团队的Hadoop优化经验">
         Twitter核心数据类库团队的Hadoop优化经验
        </a>
       </li>
      </ul>
     </div>
     <!--相关文章-->
     <div class="comment" id="comments">
      <!-- You can start editing here. -->
      <!-- If comments are closed. -->
      <p class="nocomments">
       Comments are closed.
      </p>
     </div>
     <!-- .nav-single -->
    </div>
    <!--Container End-->
    <aside id="sitebar">
     <div class="sitebar_list2">
      <div class="wptag">
       <span class="tagtitle">
        热门标签+
       </span>
       <div class="tagg">
        <ul class="menu" id="menu-%e5%8f%8b%e6%83%85%e9%93%be%e6%8e%a5">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-1605" id="menu-item-1605">
          <a href="http://taidizh.com/">
           泰迪智慧
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-20884" id="menu-item-20884">
          <a href="http://www.transwarp.cn/">
           星环科技
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-3538" id="menu-item-3538">
          <a href="http://datall.org/">
           珈和遥感
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-20888" id="menu-item-20888">
          <a href="http://www.chinahadoop.cn/">
           小象学院
          </a>
         </li>
        </ul>
       </div>
      </div>
     </div>
     <div class="sitebar_list">
      <div class="textwidget">
       <div align="center">
        <a href="http://study.163.com/course/courseMain.htm?courseId=991022" target="_blank">
         <img src="http://dataunion.org/wp-content/uploads/2016/03/dv.jpg"/>
        </a>
       </div>
      </div>
     </div>
     <div class="sitebar_list">
      <h4 class="sitebar_title">
       文章分类
      </h4>
      <div class="tagcloud">
       <a class="tag-link-44" href="http://dataunion.org/category/industry/demo" style="font-size: 10.204724409449pt;" title="4个话题">
        Demo展示
       </a>
       <a class="tag-link-31" href="http://dataunion.org/category/experts" style="font-size: 15.826771653543pt;" title="52个话题">
        专家团队
       </a>
       <a class="tag-link-870" href="http://dataunion.org/category/tech/ai" style="font-size: 19.795275590551pt;" title="273个话题">
        人工智能
       </a>
       <a class="tag-link-488" href="http://dataunion.org/category/%e5%8a%a0%e5%85%a5%e6%95%b0%e7%9b%9f" style="font-size: 8pt;" title="1个话题">
        加入数盟
       </a>
       <a class="tag-link-869" href="http://dataunion.org/category/tech/viz" style="font-size: 17.204724409449pt;" title="93个话题">
        可视化
       </a>
       <a class="tag-link-30" href="http://dataunion.org/category/partners" style="font-size: 10.645669291339pt;" title="5个话题">
        合作伙伴
       </a>
       <a class="tag-link-889" href="http://dataunion.org/category/parterc" style="font-size: 11.582677165354pt;" title="8个话题">
        合作会议
       </a>
       <a class="tag-link-104" href="http://dataunion.org/category/books" style="font-size: 12.96062992126pt;" title="15个话题">
        图书
       </a>
       <a class="tag-link-220" href="http://dataunion.org/category/tech/base" style="font-size: 19.850393700787pt;" title="281个话题">
        基础架构
       </a>
       <a class="tag-link-219" href="http://dataunion.org/category/tech/analysis" style="font-size: 19.409448818898pt;" title="232个话题">
        数据分析
       </a>
       <a class="tag-link-887" href="http://dataunion.org/category/tech/dm" style="font-size: 13.291338582677pt;" title="17个话题">
        数据挖掘
       </a>
       <a class="tag-link-34" href="http://dataunion.org/category/tech" style="font-size: 20.732283464567pt;" title="404个话题">
        文章
       </a>
       <a class="tag-link-1" href="http://dataunion.org/category/uncategorized" style="font-size: 22pt;" title="693个话题">
        未分类
       </a>
       <a class="tag-link-4" href="http://dataunion.org/category/events" style="font-size: 14.503937007874pt;" title="29个话题">
        活动
       </a>
       <a class="tag-link-890" href="http://dataunion.org/category/tech/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0" style="font-size: 10.204724409449pt;" title="4个话题">
        深度学习
       </a>
       <a class="tag-link-221" href="http://dataunion.org/category/tech/devl" style="font-size: 18.968503937008pt;" title="193个话题">
        编程语言
       </a>
       <a class="tag-link-888" href="http://dataunion.org/category/career" style="font-size: 15.661417322835pt;" title="48个话题">
        职业规划
       </a>
       <a class="tag-link-5" href="http://dataunion.org/category/jobs" style="font-size: 14.11811023622pt;" title="25个话题">
        职位
       </a>
       <a class="tag-link-871" href="http://dataunion.org/category/industry" style="font-size: 15.716535433071pt;" title="49个话题">
        行业
       </a>
       <a class="tag-link-613" href="http://dataunion.org/category/industry/case" style="font-size: 16.984251968504pt;" title="84个话题">
        行业应用
       </a>
       <a class="tag-link-885" href="http://dataunion.org/category/industry/news" style="font-size: 17.425196850394pt;" title="102个话题">
        行业资讯
       </a>
       <a class="tag-link-10" href="http://dataunion.org/category/training" style="font-size: 14.228346456693pt;" title="26个话题">
        课程
       </a>
       <a class="tag-link-16" href="http://dataunion.org/category/sources" style="font-size: 15.661417322835pt;" title="48个话题">
        资源
       </a>
      </div>
     </div>
     <div class="sitebar_list">
      <h4 class="sitebar_title">
       功能
      </h4>
      <ul>
       <li>
        <a href="http://dataunion.org/wp-login.php?action=register">
         注册
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/wp-login.php">
         登录
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/feed">
         文章
         <abbr title="Really Simple Syndication">
          RSS
         </abbr>
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/comments/feed">
         评论
         <abbr title="Really Simple Syndication">
          RSS
         </abbr>
        </a>
       </li>
       <li>
        <a href="https://cn.wordpress.org/" title="基于WordPress，一个优美、先进的个人信息发布平台。">
         WordPress.org
        </a>
       </li>
      </ul>
     </div>
    </aside>
    <div class="clear">
    </div>
   </div>
   <!--main-->
   ﻿
   <footer id="dibu">
    <div class="about">
     <div class="right">
      <ul class="menu" id="menu-%e5%ba%95%e9%83%a8%e8%8f%9c%e5%8d%95">
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-18024" id="menu-item-18024">
        <a href="http://dataunion.org/category/partners">
         合作伙伴
        </a>
       </li>
       <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-20881" id="menu-item-20881">
        <a href="http://dataunion.org/contribute">
         文章投稿
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-20872" id="menu-item-20872">
        <a href="http://dataunion.org/category/%e5%8a%a0%e5%85%a5%e6%95%b0%e7%9b%9f">
         加入数盟
        </a>
       </li>
       <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-22441" id="menu-item-22441">
        <a href="http://dataunion.org/f-links">
         友情链接
        </a>
       </li>
       <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-20874" id="menu-item-20874">
        <a href="http://dataunion.org/aboutus">
         关于数盟
        </a>
       </li>
      </ul>
      <p class="banquan">
       数盟社区        ，
        做最棒的数据科学社区
      </p>
     </div>
     <div class="left">
      <ul class="bottomlist">
       <li>
        <a href="http://weibo.com/DataScientistUnion  " target="_blank" 　title="">
         <img src="http://dataunion.org/wp-content/themes/yzipi/images/weibo.png"/>
        </a>
       </li>
       <li>
        <a class="cd-popup-trigger" href="http://dataunion.org/2256.html#0">
         <img src="http://dataunion.org/wp-content/themes/yzipi/images/weixin.png"/>
        </a>
       </li>
      </ul>
      <div class="cd-popup">
       <div class="cd-popup-container">
        <h1>
         扫描二维码,加微信公众号
        </h1>
        <img src="http://dataunion.org/wp-content/themes/yzipi/images/2014-12-06-1515289049.png"/>
        <a class="cd-popup-close" href="http://dataunion.org/2256.html">
        </a>
       </div>
       <!-- cd-popup-container -->
      </div>
      <!-- cd-popup -->
     </div>
    </div>
    <!--about-->
    <div class="bottom">
     <a href="http://dataunion.org/">
      数盟社区
     </a>
     <a href="http://www.miitbeian.gov.cn/" rel="external nofollow" target="_blank">
      京ICP备14026740号
     </a>
     联系我们：
     <a href="mailto:contact@dataunion.org" target="_blank">
      contact@dataunion.org
     </a>
     <div class="tongji">
     </div>
     <!--bottom-->
     <div class="scroll" id="scroll" style="display:none;">
      ︿
     </div>
    </div>
   </footer>
   <!--dibu-->
  </div>
 </body>
</html>